AWS ParallelClusterはどうやってコンピュートフリートをスケールさせるのか調べてみた

AWS ParallelClusterのコンピュートフリートはAuto Scaling Groupを使ってスケーリングします。ジョブスケジューラーとどのように連動しながらスケーリングするのか、動作を確認しました。

quiver

2020.08.24

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

AWS ParallelClusterを利用すると、AWS上で簡単にHPC環境を構築できます。

従来のジョブスケジューラ (SGE、Slurm、Torque) を使用してクラスターを構築すると、AWS ParallelCluster はジョブスケジューラーとAmazon Auto Scaling Group(以下ASG)の両方と連携しながらコンピュートフリートをスケーリングさせます。

スケールアウト・インそれぞれの処理の流れをドキュメント・ソースコードから確認する機会がありましたので、共有します。

スケーリングに関連するコンポーネント・設定

ジョブスケジューラーはジョブやジョブを実行するノード情報を管理します。

AWS ParallelCluster はジョブスケジューラーとして AWS Batch と従来型(SGE/Slurm/Torque)に対応しています。 ASG と連動するのは、後者の従来型です。

Amazon Auto Scaling GroupはEC2インスタンス数のスケーリングを管理します。コンピュートフリートはこの ASG を利用して管理され、ジョブスケジューラーと連携しながらフリートサイズを増減させます。

フリートサイズに関係するには、以下のパラメーターです。

Amazon SQSはメッセージキューサービスです。コンピュートノードの追加・削除とジョブスケジューラーの連携は、このSQSを介しておこなれます。

ジョブスケジューラーと通信し、スケールアウトが必要か判断するプロセスです。

ヘッドノードで実行されます。

ノードの追加・削除時には、SQSにメッセージ送信されます。

これらメッセージを受け取り、ジョブスケジューラーなど連携するプロセスです。

ヘッドノードで実行されます。

コンピュートノードがジョブを処理しないまま一定期間(AWS ParallelClustter設定ファイルのscaledown_idletime)をすぎた場合、ノードを終了させるプロセスです。

コンピュートノードで実行されます。

コンピュートノードのブートストラップ処理完了を SQS にメッセージ送信するプログラムです。

プログラムのパスは /opt/parallelcluster/scripts/compute_ready です。

コンピュートフリートのスケーリングに関係するパラメーターは以下です。

initial_queue_size : コンピュートフリートの初期起動数
max_queue_size : コンピュートフリートの最大起動数
maintain_initial_size : フリートの最低起動数を制御。true の場合は最小は initial_queue_sizeに、false の場合は 0
scaledown_idletime : コンピュートノードのターミネート判定時に利用するアイドル時間